iT邦幫忙

2026 iThome 鐵人賽

DAY 2
0
AI Security

從 Web 到 AI Agent:30 天看懂新世代資安攻防系列 第 2

從回答錯到真的做錯:先看懂 AI 的攻擊地圖

  • 分享至 

  • xImage
  •  

AI 資安最危險的地方,不只是「出現假的資訊」,而是假的東西能不能一路變成真的動作。

把 AI 系統想成一棟有 AI 管家的智慧大樓。

Web 是門窗。
SQL Injection、Broken Access Control 等傳統漏洞沒有因為 AI 出現就消失,甚至可能仍是攻擊者最省事的入口。

資料像開放投遞的意見箱。
攻擊者可以把惡意內容藏進網頁、文件或 RAG 資料,等 AI 自己讀進來。

接著是模型這顆大腦。
如果模型分不清「資料」和「指令」,Prompt Injection 就可能讓它把惡意內容誤認成任務。

真正危險的是下一步:工具是 AI 的手腳。
當 Agent 能寄信、查資料庫、修改檔案或呼叫 API,問題就可能從——

回答錯

升級成:

真的做錯。

OWASP Agentic Top 10 也把 ASI02 Tool Misuse 與 ASI03 Identity & Privilege Abuse 分別列為重要風險。

那「人」在哪裡?

人不是另一個技術層,而是橫跨整個系統的控制環節。

例如 Human-in-the-loop 核准,本來就是為了在 AI 真正執行高風險動作前踩煞車;但社交工程也可能反過來欺騙這個最後防線,讓人自己按下允許。


所以 AI 資安真正要看的,是這條鏈:

資料 → 模型 → 工具

攻擊者能不能把假的輸入,一路推成真實動作?(Web 則是平行的另一個入口——傳統漏洞可以直接跳過這條鏈。)

而這條鏈上的任何一道防線,都可能因為人被騙而被直接繞過。


延伸閱讀

  • OWASP GenAI LLM Top 10 2026,OWASP GenAI Security Project。
  • OWASP Top 10 for Agentic Applications 2026(2026 版,2025 年 12 月發布),ASI01–ASI10。
  • Greshake et al., "Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection," AISec 2023(arXiv:2302.12173)。

上一篇
AI Security 到底在保護誰?劃清四個常被混淆的關鍵領域
下一篇
先替系統畫地圖:資料流、信任邊界與 CIA 還沒退休
系列文
從 Web 到 AI Agent:30 天看懂新世代資安攻防3
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言